课程主页：https://deepgenerativemodels.github.io/

课件资料：https://github.com/Subhajit135/CS236_DGM，https://github.com/deepgenerativemodels/notes

视频地址：https://www.bilibili.com/video/av81625948?from=search&seid=4636291486683332935

这里回顾CS236 Lecture 1的课程内容，这一讲简单介绍了生成模型。

统计生成模型

统计生成模型是一个概率分布$p(x)$，它由数据和先验生成：

  • 数据：样本（例如卧室的图像）
  • 先验知识：参数形式，损失函数，优化算法等等

该课程所介绍的深度生成模型主要靠数据驱动。

判别 VS 生成

判别模型生成条件概率$P(Y|X)$，例如：

生成模型生成联合分布$P(X,Y)$，所以它比判别模型更强，因为可以利用贝叶斯公式计算条件概率：

因为判别模型需要给定$X$，所以无法处理缺失数据的情形。

条件生成模型

给定$Y$（少量信息，例如描述），生成$X$（例如图像）：$P(X|Y)$，一个具体的例子为机器翻译。

路线图和关键挑战

  • 表示：如何对很多随机变量的联合分布建模
  • 学习：如何比较概率分布
  • 推导：如何反转生成过程

教学大纲

  • Fully observed likelihood-based models
    • Autoregressive
    • Flow-based model
  • Latent variable models
    • Variational learning
    • Inference amortization
    • Variational autoencoder
  • Implicit generative models
    • Two sample tests, embeddings, F-divergences
    • Generative Adversarial Networks
  • Learn about algorithms, theory & applications